Компания LiquidStack, специализирующаяся на разработке систем погружного (иммерсионного) жидкостного охлаждения, анонсировала модульные решения MicroModular и MegaModular для периферийных приложений.

В состав MicroModular входит один модуль DataTank 48U, тогда как MegaModular может содержать до шести DataTank 48U. Данное изделие обеспечивает в 28 раз лучший теплоотвод, чем системы воздушного охлаждения, потребляя при этом на 41 % меньше электроэнергии.

Новые системы проектировались в сотрудничестве с Trane Technologies. Модульные решения обеспечивают ёмкость от 250 кВт до 1,5 МВт и резервирование до уровня Tier III, что гарантирует высокую отказоустойчивость и надёжность работы. Для систем заявлен ультранизкий коэффициент PUE — 1,02.

Источник изображения: LiquidStack

LiquidStack отмечает, что на развёртывание MicroModular и MegaModular требуется всего несколько недель, тогда как при использовании традиционных подходов на это могут уходить месяцы и даже годы. Допускается повторное использование тепла. В стандартное оснащение входят средства обнаружения пожара и освещение, а дополнительно можно заказать инструменты обеспечения безопасности и пожаротушения.

Решения могут применяться в различных отраслях, включая телекоммуникации, колокейшн, НРС, гибридное облако и пр. Модульные продукты также хорошо подходят для модернизации существующей инфраструктуры ЦОД.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, анонсировала SSD серии ER3 для дата-центров. Это, как утверждается, первые в мире изделия в своём классе, на которые предоставляется 5-летняя гарантия по использованию в системах с погружным охлаждением.

Благодаря полному погружению комплектующих в теплопроводящую жидкость тепло отводится более эффективно. Это обеспечивает стабильную и надёжную работу при высоких и продолжительных нагрузках. Все компоненты решений тщательно отбираются и тестируются.

Устройства предлагаются в двух вариантах исполнения — SFF и М.2 2280. В обоих случаях применены микрочипы 3D TLC NAND, а для подключения служит интерфейс SATA-3. Значение DWPD (полных перезаписей в сутки) ≥ 1. Поддерживаются шифрование по алгоритму AES-256 и функция защиты от потери питания Power Loss Data Protection. Показатель MTBF (средняя наработка на отказ) заявлен на отметке 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

Накопители типоразмера SFF доступны в модификациях вместимостью от 240 Гбайт до 1,92 Тбайт. Скорость последовательного чтения у всех версий достигает 520 Мбайт/с, а скорость последовательной записи — 280 Мбайт/с у младшего варианта и 520 Мбайт/с у всех других. Значение IOPS на операциях случайного чтения — 90 тыс., на операциях записи — от 10 до 45 тыс. в зависимости от ёмкости.

Изделия формата М.2 представлены в вариантах ёмкостью 240 и 480 Гбайт. У них показатели последовательного чтения/записи равны соответственно 520/280 Мбайт/с и 520/520 Мбайт/с. Величина IOPS при случайном чтении одинакова — до 90 тыс., при записи — 10 тыс. и 15 тыс. соответственно.

Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

Компания CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ-проектами. Как сообщает DataCenter Dynamics, он комбинирует погружное охлаждение и другие технологии, благодаря чему можно добиться высокой плотности размещения ресурсов на стойку — до 300 кВт на стойку. Недавно Digital Realty предложила клиентам 70-кВт стойки.

По словам CyrusOne, проект Intelliscale способен поменять правила игры в индустрии ИИ-решений и является первым в своём роде — специально разработанным под нужды ИИ-приложений и сервисов. Мощности Intelliscale специально созданы для обслуживания высокопроизводительного аппаратного обеспечения. Задействованы прямое жидкостное охлаждение процессоров, встроенные в дверцы теплообменники и погружное охлаждение. При этом модульная структура и дизайн Intelliscale предусматривает нулевое потребление воды.

Источник изображения: CyrusOne

По данным CyrusOne, новые решения могут занимать всего четверть от площади сопоставимых классических ЦОД (в зависимости от решаемых задач). При этом сами здания могут быть как одно-, таки многоуровневыми. В некоторых случаях она позволяет модернизировать и уплотнить уже существующие ИИ-мощности. По словам CyrusOne, внедрение Intelliscale сегодня позволит обеспечить работу ресурсоёмкого оборудования в будущем, поскольку спрос на ИИ будет только увеличиваться. Технология позволит бизнесам выходить на рынок быстро и с меньшими затратами, чем с использованием классических ЦОД.

Хотя «вечные» перфторалкильные и полифторалкильные вещества (PFAS) широко используются в эффективных двухфазных системах погружного охлаждения ЦОД, они токсичны. Но, похоже, запрет на их использование в Евросоюзе откладывается. Как сообщает DataCenter Dynamics, ссылаясь на данные утечки одного из документов, запрет на использование PFAS в Евросоюзе, возможно, не будет реализован или же будут введены незначительные ограничения.

Хотя в рамках «Зелёной сделки» 2020 года Евросоюзе предложил запретить от 7 до 12 тыс. химикатов, включая PFAS, данные утечки свидетельствуют, что евробюрократы готовы пожертвовать планами под давлением представителей промышленности, настаивающих, что PFAS (и другие вещества) необходимы для технологий, обеспечивающих нулевой углеродный выброс. Ранее «сделка» предусматривала запрет PFAS, предположительно являющихся канцерогенами и влияющих на репродуктивную функцию человека.

Источник изображения: Huawei

Согласно документам, попавшим в руки журналистам, речь уже может идти о запрете не более половины перечня токсичных химикатов. Документ, попавший в руки к журналистам, датирован 13 января текущего года, а правила должны вступить в силу ещё до начала 2024. Ожидалось, что закон REACH разрешит использование попавших в перечень химических веществ, только в случае, если их использование будет «необходимым». Но теперь, судя по всему, политики поддались давлению бизнеса.

Расчёты показали, что запрет на химикаты позволит ежегодно экономить €11–31 млрд на лечении рака и ожирения, тогда как промышленности такой запрет обойдётся всего в €0,9–2,7 млрд. Тем не менее, приостановить введение ограничительных норм призвал президент Франции Эммануэль Макрон (Emmanuel Macron), ссылаясь на необходимость помощи промышленному сектору. Его поддерживают и другие политики, негативно оценивающие стоимость введения новых правил для бизнеса.

PFAS применяются не только в СЖО, но и в других отраслях — например, при выпуске полупроводников. Ранее появилась информация, что регулирование оборота PFAS и окончательный отказ 3M от их выпуска могут со временем значительно повлиять на будущее погружных СЖО — несмотря на их эффективность, со временем от них могут отказаться даже гиперскейлеры, чтобы не терпеть репутационного ущерба.

Погружные (иммерсионные) системы жидкостного охлаждения имеют целый ряд преимуществ перед классическими СЖО. В частности, они существенно проще по конструкции, однако и тут есть, что совершенствовать. Компания Intel опубликовала информацию о новых, высокоэффективных теплосъёмниках. Разработанные Intel материалы и конструкции позволят остудить чипы с TDP в районе 2 КВт.

Для этого предлагается использовать теплоноситель, чья температура кипения соответствует рабочему диапазону температур охлаждаемых чипов. Кипение — важная часть процесса теплопереноса в погружных СЖО. Поэтому компания разработала специальное покрытие, ускоряющее рост пузырьков и делающее процесс кипения более интенсивным. Принцип, заложенный в основу, несколько напоминает известное явление с конфетами Mentos, вызывающими бурное выделение газа из прохладительных напитков.

Прототип покрытия, разработанного Intel, показывает первые результаты. Источник здесь и далее: Intel

Ешё одна инновация — специфическая конструкция теплообменников. Обычно производители погружных СЖО используют плоские пластины, но Intel подсмотрела у морских кораллов оптимальную форму, при которой площадь для теплоотдачи в системах нового типа должна существенно возрасти. Компания надеется повысить эффективность погружных СЖО с 0,025°C/Вт до 0,010°C/Вт.

Процесс парообразования с обычным покрытием (слева) и с разработанным Intel. Разница в количестве пузырьков налицо

На развитие этой технологии Intel получила грант $1,7 млн в рамках программы COOLERCHIPS (Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems) Министерства Энергетики США (US Department of Energy). Ранее $5-млн грант получила и NVIDIA, перед которой поставлена цель совместить системы прямого теплоотвода (direct-to-chip) с погружными в габаритах стандартной серверной стойки. Ещё $1 млн получил стартап JetCool. Также в программе участвуют HP, Raytheon и ряд университетов.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, обнародовала результаты исследования, говорящие о высокой эффективности технологии гибридного жидкостного охлаждения для серверного оборудования.

Система, о которой идёт речь, предусматривает совмещение двух типов СЖО. В частности, на CPU и GPU монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещается в резервуар с диэлектрической жидкостью.

Источник изображения: OVHcloud

Исследование показало, что такой комбинированный подход даёт возможность снизить энергопотребление дата-центра приблизительно на 20 % по сравнению с использованием исключительного водяного охлаждения. В оценке возможностей гибридной СЖО приняли участие специалисты Реймсского университета Шампань — Арденны (Франция).

Группа протестировала различные охлаждающие жидкости и пришла к выводу, что составы с низкой вязкостью обеспечивают более эффективный отвод тепла при использовании в резервуарах иммерсионных систем. В частности, при повышении вязкости примерно в два раза — с 4,6 до 9,8 мПа·с — эффективность охлаждения снизилась на 6 %.

Установлено также, что гибридная СЖО позволяет сократить энергопотребление в расчёте на сервер на 7 % в год по сравнению с обычными жидкостными системами и на 20 % по сравнению с воздушным охлаждением. При этом затрачивается от 50 до 100 мл воды в час на каждый Ватт мощности сервера.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о разработке системы гибридного иммерсионного (погружного) охлаждения серверов в центрах обработки данных (ЦОД). Технология призвана повысить эффективность расхода электроэнергии и высвободить площади, занимаемые традиционным оборудованием.

Суть метода сводится к использованию двух типов СЖО. На центральных процессорах и ускорителях монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещают в резервуар со специальной нелетучей диэлектрической углеводородной жидкостью. Для каждого сервера применяется собственный резервуар, что, по словам создателей, обеспечивает хорошую масштабируемость, гибкость развёртывания и удобство мониторинга.

Изображения: OVHcloud

Для системы предусмотрено применение трёхуровневой стойки библиотечного типа с возможностью монтажа 48 серверов формата 1U или 24 серверов стандарта 2U. Сами стойки имеют пассивный дизайн, то есть не содержат ни помп, ни вентиляторов, а значит, не затрачивают энергию на охлаждение. Потребление электроэнергии и капитальные затраты дополнительно снижаются за счёт исключения системы испарительного охлаждения в ЦОД, расположенных в регионах с температурой окружающего воздуха ниже +43 °С.

Утверждается, что новое решение позволяет сократить энергетические затраты дата-центра на охлаждение на 20,7 % по сравнению с обычным жидкостным охлаждением. Энергопотребление серверов снижается на 20 % в год по сравнению с воздушными системами охлаждения. Частичный коэффициент PUE (pPUE) заявлен на отметке 1,004, а коэффициент WUE — 0 для климатических зон с температурой окружающего воздуха ниже +43 °С. Отметим, что похожую систему охлаждения ранее представила Iceotope.